Компания VMware выпустила обновленную версию своего клиента для управления отдельными хост-серверами - VMware ESXi Embedded Host Client 1.31. Напомним, что о прошлом релизе клиента, который вышел в марте этого года, мы писали вот тут (это версия 29, тридцатую пропустили).
Давайте посмотрим, что нового появилось в Host Client 1.31:
Исправлены проблемы, которые проявлялись в некорректном выборе значений комбо-боксов.
Обновился пользовательский интерфейс настроек клиента синхронизации времени NTP.
Фреймворк AngularJS был обновлен до версии 1.6.10.
Исправлены некоторые ошибки.
Маловато для четырех месяцев с момента выпуска прошлой версии, но все же лучше, чем ничего. К сожалению, прошлая версия также не содержала в себе значимого нового функционала.
После того, как вы загрузите VIB-пакет с Host Client, используйте следующую команду для его установки на ESXi:
ssh root@<esx ip or hostname> esxcli software vib install -v <path_to_vib>
После этого вы сможете получить доступ к интерфейсу клиента по адресу:
https://<esx ip or hostname>/ui
Скачать VMware ESXi Embedded Host Client 1.31 можно по этой ссылке.
На сайте проекта VMware Labs обновилась полезная утилита Cross vCenter Workload Migration, которая предназначена для переноса виртуальных машин средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные). Напомним, что о первой ее версии мы писали в конце прошлого года вот тут.
По отзывам пользователей, утилита Cross vCenter Workload Migration часто пригождается, когда требуется массовая миграция сотен и тысяч виртуальных машин между распределенными датацентрами.
Во-первых, в новой версии добавилась возможность указывать целевой пул ресурсов и папку (VM Folder), куда требуется переместить выбранные виртуальные машины:
Это позволяет реализовывать массовые миграции с точки зрения организационной структуры (папки) и с точки зрения использования ресурсов (пулы).
Во-вторых, появилась поддержка VMware Cloud on AWS (VMC). Раньше Cross vCenter vMotion Utility не поддерживала специфическую иерархию ресурсов и прав доступа AWS, но теперь все работает отлично. Вот пример миграции ВМ в облачный датацентр из онпремизного:
Также обратим внимание, что за прошедшие несколько месяцев утилита приобрела следующую функциональность:
Увеличилось число одновременных миграций с 10 до 100.
Появилась возможность выбрать целевой хост ESXi для миграции.
Поддерживается миграция ВМ с общими хранилищами, а также еще и функции клонирования в дополнение к миграции.
Улучшилось отображение свойств и ресурсов ВМ, а также интерфейс REST API.
Скачать Cross vCenter Workload Migration Utility можно по этой ссылке. А вот, кстати, обзорное видео об этом средстве:
На сайте проекта VMware Labs появилась еще одна интересная штука - SaaS-решение vAssist. С помощью этого сервиса можно создавать и тренировать модели через интерфейс Natural Language Processing (NLP), которые могут обрабатывать пользовательские запросы на "человеческом" языке и предлагать различные действия для реакции на эти запросы (через API-вызовы или стандартные функции продукта). Это позволяет запрограммировать ботов, которые могут отвечать на различные запросы/обращения пользователей и администраторов, которые возникают в виртуальной инфраструктуре VMware vSphere. Например, с помощью этого сервиса был натренирован движок запросов к vRealize Automation.
С помощью vAssist пользователи могут спрашивать о доступности для них тех или иных сервисов и запрашивать их развертывание с помощью естественного языка. Также в сервисе доступен REST API для создания внешних интеграций с различными решениями.
Возможности vAssist:
Движок NLU Engine для задания запросов и сущностей
Настраиваемая воронка NLU pipeline
Движок диалогов ML based Conversation Engine, который настраивается путем создания правил
Приватность всех передаваемых данных
Масштабируемый механизм со средствами устойчивости к сбоям
Интерфейс REST API для интеграции с различными каналами и платформами
Воспользоваться сервисом vAssist можно по этой ссылке.
Компания VMware на сайте проекта VMware Labs опубликовала полезную утилиту SDDC Certificate Tool. Она позволяет автоматизировать процесс замены сертификатов SSL в различных продуктах VMware, который всегда был очень геморройным. Теперь, будем надеяться, за счет этой утилиты он превратится в нечто более дружественное.
Для замены сертификатов поддерживаются следующие решения:
Продукт
Минимальная версия
Максимальная версия
Platform Services Controller
6.0 U2
6.7
vCenter Server
6.0 U2
6.7
NSX-V
6.2.4
6.4.1
vRealize Log Insight
3.6
4.6
vRealize Operations Manager
6.3
6.7
vRealize Automation
7.4
7.4
vRealize Business for Cloud
7.1
7.4
Наверное вы заметили, что в списке нет ESXi - это обусловлено тем, что для замены сертификатов требуется эвакуация всех виртуальных машин с хоста, что может занять очень значительное время, поэтому поддержки пока такой нет (но, может быть, появится).
Надо отметить, что это довольно большой набор продуктов для первой версии, охватывающий практически всю линейку решений для управления, мониторинга и автоматизации датацентров (именно поэтому в названии утилиты есть SDDC - Software-Defined Data Center).
Помимо настройки сертификатов, утилита позволяет перенастроить трасты между компонентами по окончании процесса настройки. Утилита работает из командной строки (вам понадобится Linux-сервер с Java 1.8+) и автоматизирует многие шаги, которые ранее нужно было выполнять вручную с помощью Certificate Generation Utility (CertGen). На входе она принимает JSON-конфигурацию, в которой описывается требуемое множество поддерживаемых продуктов VMware.
Приятно, что в составе утилиты уже имеются множество пре-чеков перед заменой сертификатов - определение срока действия, валидация цепочки и прочее, а также сверка введенных параметров (например, число узлов vSAN) с фактическими. Для использования SDDC Certificate Tool подойдет PhotonOS, которую можно скачать отсюда.
Небольшая демка по использованию утилиты (кстати, напомним, что она на данный момент в статусе технологического превью):
Скачать в виде rpm-пакета можно по этой ссылке. Детальные инструкции по использованию утилиты находятся тут.
На сайте проекта VMware Labs появилась очередная полезность - утилита VMware Policy Builder, которая позволяет сконфигурировать политики Windows 10 для мобильных устройств Mobile Device Management (MDM) через механизм Configuration Service Providers (CSPs).
Эта утилита доступна онлайн, после логина с аккаунтом My VMware из облака вам будет доступен набор политик, которые можно настроить:
В результате конфигурации политик в графическом интерфейсе, будет доступен вывод SyncML, динамически формируемый в правой панели, который можно скопировать для публикации в решении Workspace ONE Unified Endpoint Management в целях настройки мобильных устройств корпоративной инфраструктуры.
Утилита позволяет избежать ошибок при ручном формировании и редактировании SyncML в решении Workspace ONE UEM. Вот как это работает для UEM при добавлении SyncML в кастомные настройки профиля Windows ПК:
Воспользоваться утилитой VMware Policy Builder можно по этой ссылке.
Недавно мы писали о новой утилите на сайте проекта VMware Labs - ESXi Compatibility Checker, которая представляет собой Python-скрипт, проверяющий аппаратные компоненты хост-серверов на совместимость с платформой VMware vSphere и ее различными версиями. На днях вышла обновленная версия этого сценария, которая имеет несколько важных нововведений.
1. Офлайн режим работы.
Теперь можно собрать данные об аппаратных конфигурациях в формате JSON на системе без доступа к интернету, а потом проверить собранные конфигурации на другой системе с онлайн-доступом на предмет соответствия требованиям HCL (Hardware Compatibility List).
Для сбора конфигурации нужно использовать такую команду:
Теперь оператор -s поддерживает несколько имен хостов через запятую. Таким образом, вы получите один отчет о совместимости для нескольких управляющих серверов vCenter. Делается это следующей командой:
На сайте проекта VMware Labs появилось второе (со времени выхода VMware vSphere 6.7) обновление HTML5-клиента для управления виртуальной инфраструктурой - VMware vSphere Client 3.39. Напомним, что о прошлых версиях этого тонкого клиента мы писали около месяца назад вот тут.
Давайте посмотрим, что нового появилось в VMware vSphere Client 3.39:
Полностью реализованная функциональность механизма автоматизированного развертывания хостов Auto Deploy (то же самое, что есть сейчас в vSphere Web Client):
Software Depots
Deploy Rules
Deployed Hosts
Discovered Hosts
Configure (настройка самого Auto-Deploy)
Поддержка бандлов скриптов для Auto-Deploy (теперь это есть только в vSphere Client):
Просмотр бандлов скриптов в списке всех бандлов
Возможность загрузить бандл скриптов
Возможность добавить или изменить правила развертывания с бандлами скриптов
Новое представление виртуальных коммутаторов на хосте, которое включает в себя диаграммы с топологиями для стандартных виртуальных коммутаторов, а также host proxy switches.
Улучшенная функциональность для виртуальных сервисов vApp и виртуальных машин в их составе: создание, редактирование, удаление, изменение значений.
Были улучшены vCenter Extensions.
Доработаны правила механизма Storage DRS для виртуальных машин - создание, редактирование и удаление.
Скачать VMware vSphere Client 3.39 можно по этой ссылке.
На сайте проекта VMware Labs появилась очередная утилита DRS Entitlement Viewer, которую давным-давно ожидали пользователи еще с третьей версии ESX Server. Это средство позволяет визуализовать иерархию пулов ресурсов, в которой для каждого пула показаны выделенные ему ресурсы процессора и памяти:
Кроме этого, как вы видите на картинке, также показываются и ресурсы, выделенные всем виртуальным машинам кластера VMware DRS. Эти параметры вычисляются и отображаются на основе фактически потребляемых машинами и пулами ресурсов, а также параметров reservation, limit и shares.
Помимо этого, утилита DRS Entitlement Viewer поддерживает 3 сценария "что если" (What-If):
Изменение настроек reservation, limit и shares для ВМ и/или пула ресурсов.
Что если ВМ будет потреблять столько ресурсов, сколько сможет (то есть нагружена на 100%).
Сочетание обоих предыдущих сценариев.
После применения этих сценариев пользователь сможет увидеть новую картину, которая не повлияет на реальные настройки кластера DRS.
И самое полезное - результат what-if моделирования можно выгрузить в виде консольной команды PowerCLI, которую можно затем применить в реальном окружении VMware vSphere, чтобы получить смоделированную конфигурацию кластера DRS.
Скачать DRS Entitlement Viewer можно по этой ссылке. Работает это как плагин к клиенту vSphere Client на базе технологии HTML5. Для запуска плагина вам потребуется vCenter Server Appliance версии 6.5 или 6.7.
Установить плагин просто:
Распаковываем архив дистрибутива в папку /usr/lib/vmware-vsphere-ui/plugin-packages/.
Добавляем следующие расширенные настройки (Advanced Settings) в кластер HA/DRS:
CompressDrmdumpFiles = 0
DrmdumpResActions = 1
Перезапускаем службу командами:
service-control --stop vsphere-ui
service-control --start vsphere-ui
После этого вы увидите раздел "DRS entitlements" на вкладке "Monitor" для каждого кластера.
Еще в далеком 2011 году мы писали о средстве VMware I/O Analyzer, которое позволяет сгенерировать нагрузку на хранилища VMware vSphere, а после чего замерить производительность этих хранилищ. Делается это средствами интегрированного фреймворка, который поддерживает распределенную архитектуру - центральный управляющий виртуальный модуль и воркеры (генераторы нагрузки).
В 2014 году это средство еще раз обновилось для поддержки актуальных на тот момент версий ESXi, ну а на днях появилось обновление VMware I/O Analyzer 1.6.2u1, которое поддерживает VMware vSphere 6.5 и более поздние версии, то есть vSphere 6.7.
Напомним основные возможности VMware I/O Analyzer:
Интегрированный фрейворк для тестирования производительности хранилищ.
Простая настройка и возможность исполнения тестов на одном или нескольких хостах ESX/ESXi.
Возможность просмотра результатов производительности как на уровне хоста, так и на уровне гостевой ОС.
Возможность экспорта данных для последующего анализа.
Средства "повторения" нагрузки на хранилища путем ее воспроизведения из трейса ввода-вывода.
Возможность загрузки трейсов ввода-вывода для автоматического извлечения необходимых метрик.
Графическая визуализация метрик и результатов анализа производительности.
В новой версии I/O Analyzer 1.6.2u1 появились следующие фичи:
Поддержка последних версий vSphere.
Обновление протокола до версии OpenSSL 1.0.2o.
Сценарий для горячего обновления с прошлой версии 1.6.2.
В прошлой версии 1.6.2 были пофикшены уязвимости Shellshock и Heartbleed.
Скачать VMware I/O Analyzer 1.6.2u1 можно по этой ссылке. Инструкция к данному средству тестирования доступна тут.
На днях компания VMware сделала доступной новую версию HTML5-клиента для управления виртуальной инфраструктурой VMware vSphere 6.7. Это первый релиз, который вышел с момента включения нового клиента в состав последней версии vSphere 6.7 (напомним, что об этом мы писали тут и тут). Ну а о прошлой версии vSphere Client 3.36, доступной ранее на VMware Labs, мы писали вот тут.
Давайте посмотрим, что нового появилось в версиях vSphere Client 3.37 и 3.38:
Пользовательские маппинги гостевых ОС для виртуальных машин.
Поддержка последовательных портов для ВМ.
Улучшенный поиск, включая:
Редизайн страниц результатов
Возможность фильтрации результатов поиска по таким полям, как power state, guest os, host, clusters, datacenter
Возможность сохранить поиск.
Улучшения быстрых операций с питанием ВМ.
Просмотр опций объекта vApp для виртуальных машин в режиме только для чтения.
Возможности сетевых функций SRIOV в мастере клонирования на вкладке Hardware.
Ресайзинг мастера миграции до любых размеров за счет функций фреймворка VMware Clarity.
Скачать обновленный VMware vSphere Client 3.38 можно по этой ссылке.
Давненько ничего нового не было на сайте проекта VMware Labs. А вот на днях компания VMware выпустила полезную утилиту ESXi Compatibility Checker, представляющую собой Python-скрипт, проверяющий аппаратные компоненты хост-серверов на совместимость с платформой VMware vSphere и ее различными версиями.
Эта утилита может быть использована при замене различных компонентов хостов ESXi, а также обновлении серверов vCenter/ESXi. В целом, такую информацию можно собрать и вручную с помощью различных команд и в графическом интерфейсе, но у сервера так много системных девайсов, устройств ввода-вывода и прочего, что скрипт весьма и весьма упрощает эту задачу.
Результаты работы сценария ESXi Compatibility Checker можно вывести в xls-отчет, который потом можно использовать для планирования обновлений и обсуждения.
Кроме того, можно проверить хосты на возможность апгрейда на какой-нибудь релиз ESXi и соответствие аппаратным требованиям какой-либо версии, например:
Host 10.143.XX.XX> upto 6.5.0 -s
[OK] The specified release (VMware vSphere Hypervisor (ESXi) 6.5.0) is upgradable from this VMware vSphere Hypervisor (ESXi) 6.0.0
[Server: Warnings] Server 'PowerEdge R720' may not be compatible for ESX 6.5.0
[IO: Warnings] Some IO devices may not be compatible for ESX 6.5.0
Compatibility issues:
- Server Model 'PowerEdge R720' with Intel Xeon E5-2600-v2 Series (ID:33815) is certified
but current CPU Series (features:0x206d7) is not supported
Certified BIOS versions are higher than 2.1.2
More information: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=server&productid=33815
- IO Device 'PERC H310 Mini' (PCIID:1000:0073:1028:1f51) is certified
but current driver (megaraid_sas) is not supported
More information: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=40344
Возможно, когда-нибудь эта функциональность станет частью vCenter. Скачать скрипт ESXi Compatibility Checker можно по этой ссылке.
Компания VMware сделала доступным интересный документ VMware vSAN PoC Performance Checklist, в котором рассматриваются различные аспекты производительности кластеров хранилищ VMware vSAN, которые пользователи развертывают в рамках PoC (proof of concept).
Сначала в рамках чеклиста нам предлагают прочесть следующие документы:
Если это не помогло, то далее идут пункты таблицы с набором проверок, которые имеет смысл провести перед тем, как обращаться в техподдержку VMware или искать ответы на форумах. Также нам рекомендуют освоить утилиту HCIBench, которая позволяет провести комплексный тест производительности отказоустойчивых кластеров хранилищ.
Разделы документа:
"Before you Start" Tasks
Host Based Tasks after vSAN is Deployed
Choosing An Appropriate Policy to Test
Choosing Data Services
Prepping for the HCIBench Benchmark
Initial Functional Test -HCIBench Easy Run
HCI Bench - Further Tuning
Надо сказать, что эти проверки могут оказаться полезными всем тем, кто испытывает проблемы с производительностью vSAN и поиском их причин. Также в онлайн-документе VMware vSAN PoC Performance Checklist есть возможность скачать его в формате PDF. Ну и если ничего не помогло, то всегда есть почта для обращений - vsanperformance@vmware.com.
VMware vForum Online provides expert insight that can help drive innovation for your organization. It’s a must-attend event for IT professionals who are driving their digital transformation and building a hyper-converged IT infrastructure. Таги:
Если вы наблюдали за обновлениями утилит на сайте проекта VMware Labs, то наверное заметили, что в этом году выходили только обновления старых средств, но не появлялось ничего нового.
На днях впервые в этом году появился новый Fling - PowerCLI Preview for NSX-T. Это превью набора PowerCLI командлетов для управления решением NSX-T. Напомним, что это решение для построения сетей software-defined датацентров, как на базе гипервизора VMware vSphere, так и на базе других технологий, таких как контейнеры или средства виртуализации KVM.
Вся функциональность PowerCLI Preview for NSX-T сосредоточена в одном модуле. Для начала работы с данным интерфейсом вам потребуется PowerCLI 10.0.0 (а именно модуль VMware.VimAutomation.Nsxt) и ОС Microsoft Windows. Если вы не видите этого модуля у себя, то посмотрите, как правильно поставить PowerCLI последней версии:
Всего PowerCLI Preview for NSX-T включает аж 280 командлетов, покрывающих различные стороны решения NSX-T. Они были сгенерированы автоматически, поэтому кое-где возможны баги.
Многие из этих командлетов (такие как, например, Get-LogicalSwitch) оперируют логическими сущностями, что очень удобно для написания сценариев без погружения в дебри структур NSX-T (это так называемые high-level командлеты), ну а есть low-level командлеты, такие как, например, Get-NsxtService. После установки посмотреть список командлетов можно командой:
Осенью 2016 года мы писали об утилите для подготовки виртуальных ПК к развертыванию VMware OS Optimization Tool, с помощью которой можно производить тюнинг реестра в целях оптимизации производительности, а также отключение ненужных сервисов и запланированных задач. Это все позволяет создать систему, которую можно будет эффективно использовать в качестве гостевой ОС виртуального ПК предприятия.
С тех пор утилита часто обновлялась и развивалась, исправлялись многочисленные ошибки, а на днях вышла версия VMware OS Optimization Tool b1097.
Давайте посмотрим, что нового появилось в VMware OS Optimization Tool за прошедшие полтора года:
Появилась цифровая подпись дистрибутива.
Обновились шаблоны всех операционных систем Windows 7/8/8.1/10.
Появились шаблоны для Windows server 2016 (RDSH, Server, Desktop).
Добавился новый шаблон App Volumes Packaging Machine, который может быть использован при создании AppStacks на машинах, с помощью которых будут созданы приложения App Volumes.
Фича Template change log - можно добавлять записи об изменениях новой версии шаблона в библиотеке публичных шаблонов.
Документация для утилиты командной строки.
Conditional Check - теперь можно накатывать оптимизацию при наличии определенных условий (например, если установлен заданный ключ реестра в гостевой ОС пользователя).
Проще редактировать шаблон - нет необходимости постоянно нажимать кнопку Update, так как изменения в полях сохраняются автоматически.
Экспорт шаблонов в XML.
TCP Offload включена по умолчанию, так как это сейчас есть на большинстве сетевых карт.
Появилось поле "website", с помощью которого можно отправить пользователей ОС на нужную страничку после развертывания системы.
Кнопка "View in Public Templates", поле для описания шаблона и возможность обновления комментариев.
Много исправлений ошибок, в том числе в последней версии.
Если у вас есть интерес к созданию систем, оптимизированных и готовых к эксплуатации в качестве настольных ПК предприятия, то обязательно скачайте и попробуйте VMware OS Optimization Tool.
Давайте посмотрим, что нового появилось в функциональности Host Client за почти полгода:
Пофикшен баг с очисткой выделения области при удалении виртуальной машины.
Исправлена ошибка с мастером хранилищ для очень больших датасторов.
Обновление списка доступных RDM-дисков в списке создания виртуальной машины.
Исправлена ошибка с неправильным отображением размера датастора в мастере.
Улучшена поддержка сетей решения NSX.
Пофикшены проблемы с переходом в полноэкранный режим и открытием новой вкладки консоли.
Опциональное поле на странице логина теперь не заполняется менеджерами паролей браузеров.
Небольшие исправления ошибок и косметические изменения.
Согласитесь, практически никакое обновление для версии, которую ждали больше 5 месяцев. Ну что делать, все равно обновиться не помешает, скачать VMware ESXi Embedded Host Client 1.29 можно по этой ссылке.
На днях компания VMware обновила свое средство для управления виртуальной инфраструктурой на базе технологии HTML5 - на сайте проекта VMware Labs появился VMware vSphere Client версии 3.36.
Напомним, что о версии 3.34 этого продукта мы писали в середине февраля вот тут, поэтому давайте взглянем на новые функции и улучшения последних двух версий клиентов - VMware vSphere Client 3.36 и 3.35:
Кастомизация дополнительных устройств и опций при создании виртуальной машины или ее клонировании:
Host USB device
SCSI controller
USB controller
SATA controller
CPU > CPUID Mask > Advanced
VM Options > VMRC options
VM Options > VMware Tools > Power Operations
VM Options > Power Management > Wake up on LAN
VM Options > Advanced Configuration Parameters
VM Options > Fibre Channel NPIV
Оповещение перед тем, как происходит операция над шаблоном ВМ, который в данный момент управляется клиентом.
Улучшения интерфейса для быстрого поиска (Quick search).
Улучшения в панели управления дисками ВМ - теперь они объединяются в группы в разделе VM Summary->Edit Settings (если их больше 4 штук).
Несколько исправлений багов и мелких улучшений.
Скачать VMware vSphere Client 3.36 можно по этой ссылке.
За последнее время у компании VMware вышло несколько материалов по продукту для создания отказоустойчивых кластеров хранилищ VMware vSAN 6.6.
Во-первых, вышло хорошее обзорное видео:
Во-вторых, был опубликован полезный технический документ "VMware vSAN 6.6 Technical Overview", где с технической точки зрения рассматриваются возможности vSAN 6.6:
Ну и, в-третих, вышла лабораторная работа (Hands-On Lab) для администраторов - vSAN 6.6 – Getting Started Hands-on Lab, пройдя которую можно узнать основные возможности продукта и обучиться приемам работы с кластерами vSAN:
Многие из вас иногда хотят получить так называемый "Support Bundle", содержащий лог-файлы, диагностическую информацию и метрики производительности, который помогает решать проблемы в инфраструктуры VMware vSphere. В первую очередь, этот бандл нужен для предоставления службе технической поддержки VMware GSS (Global Support Services) информации о конфигурации виртуальной среды, чтобы она могла решать возникающие у клиентов проблемы в рамках обращений (тикетов) в техподдержку.
Но, кроме этого, данный бандл может пригодиться и вам, как, например, описано в этой статье для анализа причин "розового экрана смерти" и прочих аномалий.
Давайте рассмотрим основные способы получения support bundle как для серверов VMware vCenter (для Windows или виртуального модуля vCenter Server Appliance, vCSA), так и для серверов VMware ESXi. Кстати, надо учитывать, что после экспорта бандла с логами результирующий файл будет размером 30-300 МБ в зависимости от того, что вы туда включите, а также как давно и интенсивно менялась конфигурация виртуальной среды.
Получение Support Bundle для серверов vCenter
Самый простой способ получить саппорт бандл - это выгрузить его с помощью vSphere Web Client. Для этого нужно выбрать сервер vCenter в иерархии инвентори и выбрать пункт Export System Logs (работает как для обычного vCenter, так и для vCSA):
Далее вам предложат, какие разделы нужно включить в сгенерированный бандл логов:
Если вы используете vCSA, то можно получить логи через веб-интерфейс. Для этого надо перейти по адресу:
https://<ip vcsa>/appliance/support-bundle
И далее ввести логин и пароль root от виртуального модуля vCSA.
После этого support bundle будет сгенерирован и загружен через ваш браузер.
Кроме этого, есть способ получить логи vCSA из Linux-системы с помощью утилиты curl. Для этого нужно выполнить следующую команду:
Здесь SearchTerm - это строка поиска, а LogName - это один из следующих логов:
hostd
vpxa
messages
vmkernel
vmksummary
vmkwarning
Получение Support Bundle для серверов ESXi
По аналогии с получением бандла для сервера VMware vCenter или vCSA, в vSphere Client можно выбрать сервер VMware ESXi и выбрать для него пункт "Export System Logs":
Также можно сгенерировать Support Bundle через тонкий клиент для управления серверами VMware ESXi - Embedded Host Client (он же - просто веб-интерфейс для управления хостами ESXi). Он доступен при соединении с хостом ESXi по ссылке:
https://<ip esxi>/ui
Для генерации саппорт бандла нужно выбрать пункт "Generate support bundle" из контекстного меню хоста:
Помимо этого, его можно сгенерировать и в консоли ESXi. Для этого используется команда vm-support без параметров (подробнее об этом написано в KB 1010705). Чтобы получить Support Bundle нужно в консоли ESXi выполнить следующую команду:
# vm-support
Надо отметить, что у утилиты есть множество разных параметров:
Аналогично получению бандла для vCenter, через PowerCLI можно получить и бандл для хоста ESXi. Соединяемся с хостом, забираем бандл и складываем его в нужную папку:
В блоге VCDX133 появился интересный и полезный список основных ключевых моментов в различных аспектах проектирования инфраструктуры VMware vSphere. Он будет полезен архитекторам и системным инженерам, которые планируют внедрение большой инфраструктуры виртуализации и хотят учесть все основные функции платформы, а также избежать проблем в будущем при масштабировании архитектуры.
Кстати, этот список можно использовать как высокоуровневый опросник перед началом фазы проектирования, чтобы выяснить ключевые потребности заказчика и далее превратить это все в техническое задание на базе полученных требований.
Приведем данный список ниже:
Бизнес-задачи и проблемы
Какие основные задачи стоят при внедрении?
Какие проблемы заказчика предполагается решить?
Варианты использования платформы
Какие варианты использования инфраструктуры VMware предполагает сам заказчик?
Требования/Ограничения/Допущения
Каковы основные требования, какие ограничения учесть, о какие допущениях и неочевидных моментах нужно проинформировать заказчика.
Риски
Какие риски внедрения решения (например, простои при миграции) и каковы способы их минимизации? Есть ли специфические задачи, тесты и процедуры, которым нужно следовать в таком случае.
A. Управление виртуальным датацентром
Решения в области логической архитектуры
Общий объем объединяемых в пул ресурсов (вычислительные мощности, сети и хранилища).
Какие сервисы будет предоставлять инфраструктура.
Необходимый уровень доступности для систем управления платформой виртуализации.
Интеграция со сторонними решениями: IT Service Management, Infrastructure Management systems, Enterprise services (DNS, LDAP, NTP, PKI, Syslog, SNMP Traps), сбор данных агентами систем различных вендоров.
Необходимы ли расширенные операции, не предоставляемые из коробки?
Механизмы защиты рабочих нагрузок гипервизора (vMotion, HA и другое).
Механизмы балансировки нагрузки на гипервизор (DRS).
Решения в области физической инфраструктуры
Гипервизор: версии ESXi.
Нужен ли отдельный кластер управления?
Серверы vCenter в режиме Standalone или Linked-Mode?
Версия vCenter Server и тип установки (под Windows или в виде виртуального модуля).
База данных vCenter Server - встроенная или внешняя?
Механизмы защиты vCenter Server.
Дизайн инфраструктуры Platform Services Controller (PSC). Будет ли один домен SSO?
Нужна ли инфраструктура шифрования (PKI)? Какие требования к SSL?
Какие компоненты vSphere будут использоваться?
Нужна ли функциональность Host profiles?
Вопросы управления обновлениями ESXi, версиями VM Hardware и версиями VMware Tools.
Интеграция с антивирусами и решениями vShield/NSX.
Нужен ли пакет vRealize Suite для расширенных операций и управления частным облаком?
Нужен ли продукт vRealize Orchestrator для управления рабочими процессами операций? Нужен ли PowerCLI для сценариев автоматизации?
Нужно ли интегрировать виртуальную инфраструктуру с другими средствами управления (Enterprise Management)?
Automated vendor support mechanisms? How will VMware Skyline be used?
Нужно ли организовывать интеграцию с системами Service Desk или Change Management?
Каковы требования к механизмам vSphere HA и vSphere DRS?
Если будет использоваться HCI (Hyper-Converged Infrastructure), то какие решения будут использоваться для управления, и как это будет совместимо с vSphere?
Вопросы интеграции со службами DNS и NTP.
Ролевая модель доступа (Role Based Access Control) и интеграция с LDAP.
Какой интерфейс vCenter Server будет использоваться для администрирования и ежедневных операций (vSphere Client / Web Client).
Модель лицензирования vCenter.
Вопросы лицензирования стороннего ПО в виртуальных машинах (на хост, на виртуальный процессор vCPU и т.п.).
B. Вычислительные ресурсы
Решения в области логической архитектуры
Традиционная архитектура, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с хранилищами).
Минимальное число хостов в кластере.
Тип сайзинга хостов в кластерах: вертикальный (Scale Up) или горизонтальный (Scale Out)?
Гомогенные или гетерогенные узлы?
Число физических процессоров на хост.
Резервирование уровня хостов в рамках доменов отказа (Failure Domains).
Необходимая емкость по CPU.
Необходимая емкость по RAM.
Решения в области физической инфраструктуры
Вендор серверов.
Тип процессоров серверов.
Фичи CPU: VT-x, Hyper-threading, Turbo Boost, включена ли NUMA?
Конфигурация серверного оборудования.
Число сокетов CPU на узел.
Модель процессора, частота и число ядер.
Нужен ли GPU?
Физическое размещение хостов.
Тип размещения: Single Rack или Multi-Rack с шарингом ресурсов?
Требования к доступности кластеров.
Нужно ли обеспечить согласованность доступности хостов с доступностью хранилищ.
Будущее расширение вычислительных ресурсов.
C. Хранилища
Решения в области логической архитектуры
Традиционные хранилища, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с вычислительными ресурсами).
Блочные или IP-хранилища?
Средства автоматизированного управления хранилищами.
Допустимо ли использование RDM?
Метод загрузки хоста ESXi - с локального диска (DAS), LUN или PXE.
Толстые или тонкие диски для виртуальных машин?
Необходимые ресурсы хранения.
Репликация хранилищ.
Решения в области физической инфраструктуры
Вендор систем хранения.
Расчет используемой емкости хранилищ с учетом пулов хранения, затрат на репликацию и бэкап. Каковы численные требования к емкости и производительности хранилищ?
Число дисков SSD и HDD в каждой из систем хранения.
Использование дедупликации, сжатия данных, технологии Erasure Coding и Storage APIs. Нужно ли держать процент хранилищ всегда свободным?
Какой активный Working Set (рабочий объем данных) необходим?
Трешхолды для автоматизированного ярусного хранения данных (разнесения по ярусам).
Использование шифрованных дисков и сервер KMS.
Сеть хранения данных и ее организация.
Механизм загрузки хстов ESXi.
Технологии VM DirectPath I/O и SR-IOV.
Число датасторов на кластер.
Будут ли использоваться DRS и SIOC?
Будут ли применяться VMDK shares на уровне виртуальных дисков?
Будет ли использоваться технология VAAI?
Использование VASA и профилей хранилищ (storage profiles).
Будут ли использоваться синхронные или асинхронные DR-решения?
Планирование расширения хранилищ.
D. Сетевая инфраструктура
Решения в области логической архитектуры
Технология Legacy 3-Tier Switch, Collapsed Core или Clos-type Leaf/Spine?
Кластеризованные физические или отдельные коммутаторы EoR/ToR?
Растянутые логические VLAN или на уровне стойки?
Трафик будет функционально разделяться на уровне виртуальных коммутаторов или отдельных VLAN?
На днях компания VMware обновила пару своих утилит на сайте проекта VMware Labs, которые могут оказаться вам полезными.
Во-первых, решение VMware vCenter VM Mobility, о котором мы писали вот тут, обновилось до версии 1.5. Напомним, что это средство позволяет через интерфейс командной строки (CLI) перенести машину между серверами vCenter, которые связаны в режиме Linked Mode или размещены независимо друг от друга. Надо отметить, что в режиме Linked Mode и так можно перемещать виртуальную машину между датацентрами, поэтому полезна утилита именно для несоединенных vCenter.
Давайте посмотрим, что нового появилось в версиях vCenter VM Mobility 1.2-1.5:
Добавлена возможность выбрать папку ВМ в месте назначения, а также storage pod (для механизма storage drs).
Поддержка соединения на сайте назначения, чтобы не прервалась задача перемещения ВМ.
Пофикшен баг, когда при миграции нескольких виртуальных машин с одной виртуальной сетью назначения мигрировалась только одна.
Поддержка передачи пароля в качестве аргумента для автоматизации задач клонирования и перемещения ВМ между датацентрами.
Скачать VMware vCenter VM Mobility 1.5 можно по этой ссылке. Напомним, что утилитой лучше не пользоваться для миграции связанных клонов ВМ (linked clones).
Вторая обновившаяся утилита - это DRS Lens, про которую мы рассказывали вот тут. Она позволяет администраторам виртуальных инфраструктур получить больше информации о работе механизма балансировки нагрузки на хост-серверы VMware vSphere DRS.
На днях вышла версия DRS Lens версии 1.2. Приведем ниже новые возможности утилиты версий 1.1-1.2:
Добавлена поддержка архивирования старых данных мониторинга.
Добавлена страница общей информации для vCenter, чтобы получать информацию о кластерах и архивах.
Улучшения пользовательского интерфейса.
Добавлена совместимость процесса логина с vCenter 5.5.
В конце января компания VMware выпустила существенное обновление своего клиента на базе технологии HTML5 для управления виртуальной инфраструктурой VMware vSphere. На днях вышел еще один апдейт - VMware vSphere Client 3.34, в котором также появилось немало всего нового.
Давайте посмотрим на последние фичи vSphere Client версии 3.34:
Визуализация топологии виртуальных коммутаторов (см. на скриншоте выше).
Возможность пакетного создания виртуальных адаптеров VMkernel на распределенной группе портов vDS.
Действие по привязке лицензи (Assign License) на вкладке License Assets.
Сообщение об устаревающих лицензиях vCenter.
Изменение настроек виртуальных сервисов vApp.
Включение и изменение настроек vApp для его виртуальных машин.
Перемещение сетей (networks) и распределенных коммутаторов в новые папки типа network в инвентори.
Пакетная привязка физических сетевых адаптеров к аплинкам в мастере "Add and Manage Hosts" на распределенном коммутаторе.
Пакетная привязка портов VMkernel к порт-группам "Add and Manage Hosts" на распределенном коммутаторе.
Отображение дополнительной информации, такой как состояние питания и информации Quiesce/memory для снапшотов виртуальных машин.
Загрузить VMware vSphere Client 3.34 можно по этой ссылке.
На днях вышел магический квадрант Gartner Magic Quadrant for Hyperconverged Infrastructure (HCI), отражающий ситуацию на рынке гиперконвергентной инфраструктуры. Это такая инфраструктура, где все ее вычислительные ресурсы, системы хранения и сети виртуализованы и собраны в единую интегрированную сущность и управляются из одной точки.
Компания VMware заняла в этом квадранте место в тройке лидеров (надо отметить, что учитывались не только онпремизные, но и облачные HCI-инициативы), расположившись рядом со своей материнской компанией Dell EMC.
Напомним, что Magic Quadrant используется для оценки поставщиков какого-либо сегмента рынка информационных технологий, где Gartner использует две линейные прогрессивные экспертные шкалы:
полнота видения (completeness of vision)
способность реализации (ability to execute)
Каждый поставщик, попавший в рамки рассмотрения для исследуемого сегмента рынка, оценивается по этим двум критериям. При этом, полнота видения откладывается на оси абсцисс, способность реализации — на оси ординат. Каждый поставщик, таким образом, оказывается в одном из четырёх квадрантов плоскости, называемых:
Лидеры (leaders) — поставщики с положительными оценками как по полноте видения, так и по способности реализации.
Претенденты (сhallengers) — поставщики с положительными оценками только по способности реализации.
Провидцы (visionaries) — поставщики с положительными оценками только по полноте видения.
Нишевые игроки (niche players) — поставщики с отрицательными оценками по обоим критериям.
Кстати,
Magic Quadrant по серверной виртуализации больше не публикуется (вы, возможно, заметили, что его не было в 2017 году) - так как Gartner считает этот рынок зрелым, там все и так всем понятно, поэтому никакой аналитической работы проводить не нужно.
Стоит отметить, что попадание в квадрант лидеров для VMware как для поставщика чисто программных решений - большое достижение. Сейчас VMware использует аппаратные решения 15 партнеров, чтобы предлагать HCI-решения пользователям. Пример такой архитектуры - VCE и Vblock. Кстати, Dell EMC, в свою очередь, продвигает решения VxRail и VxRack, в состав которых входит решение для создания кластеров отказоустойчивых хранилищ vSAN.
Кстати, если говорить о серверных HCI-решениях, то VMware уже сейчас поддерживает более 400 моделей серверов (на картинке от мая 2017 года было еще 250 моделей) в рамках программы ReadyNode для построения кластеров vSAN.
Скачать отчет Gartner Magic Quadrant for Hyperconverged Infrastructure (HCI) можно по этой ссылке.
На днях компания VMware начала тестировать новую версию своего фреймворка для управления виртуальной инфраструктурой и выпустила VMware PowerCLI Beta.
Как вы помните, в конце 2016 года VMware на сайте проекта VMware Labs опубликовала утилиту PowerCLI Core, которая позволяет пользователям применять те же самые командлеты PowerCLI на системах Linux, Mac и Docker, которые ранее были доступны только для Windows.
В новой бета-версии PowerCLI эта утилита будет не нужна, так как теперь PowerCLI будет работать на всех платформах в рамках единого пакета, а из состава продукта для платформ Linux и MacOS уйдет слово "Core". На данный момент эта бета была протестирована на следующих платформах:
Windows
CentOS 7 (тестирование еще в процессе)
Ubuntu 16.04
MacOS 10.12
В этой бета-версии на все платформы были портированы следующие модули:
VMware.VimAutomation.Sdk
VMware.VimAutomation.Common
VMware.VimAutomation.Core
VMware.VimAutomation.Vds
VMware.VimAutomation.Cis.Core
VMware.VimAutomation.Nsxt
VMware.VimAutomation.Vmc
VMware.VimAutomation.Storage
VMware.VimAutomation.StorageUtil
Для MacOS и Linux вы увидите только перечисленные модули, остальные пока не доступны. Устанавливать их нужно так:
Более подробную информацию о VMware PowerCLI Beta можно получить вот тут. Ну и вам надо знать, что бета работает только на PowerShell Core v6.0.1 (на версии 6.0.0 работать не будет).
Пару недель назад мы писали о новых возможностях последних версий HTML5-клиента для управления виртуальной инфраструктурой VMware vSphere Client 3.31-3.32, а на днях компания VMware выпустила очередное обновление vSphere Client 3.33, где появилось немало новых возможностей (а не как обычно).
Давайте посмотрим, что нового в этом обновлении:
Поддержка устройств PCI и Shared PCI для виртуальных машин.
Мастер создания нового виртуального сервиса (vApp).
Мастер клонирования vApp.
Перемещение vApp в между хостами и кластерами.
Возможность копирования customization specification виртуальной машины на другой сервер vCenter с возможностью изменения имени и описания спецификации.
Действие Synchronize Licenses (ранее оно называлось Import License Keys Data).
Детали об имеющихся ассетах и лицензиях.
Возможность изменять VM Advanced configurations в настройках виртуальной машины (пункт Edit Settings).
Изменение ярлыков для операций с состоянием ВМ (Power Operations) в разделе VMware tools в опциях Edit Settings для виртуальной машины.
Изменение максимального количества сессий VMRC для виртуальной машины в настройках (Edit Settings).
В целом, не так уж и мало для очередного обновления. Скачать VMware vSphere Client 3.33 можно по этой ссылке.
Многие из вас знают, что одной из новых возможностей решения для организации отказоустойчивых кластеров хранения VMware vSAN стали проактивные тесты, которые доступны через VMware vSphere Web Client. Раньше их было три штуки:
Но недавно некоторые из вас, возможно, заметили, что в новой версии VMware vSAN (которая доступна с VMware vSphere 6.5 Update 1 Patch 02) остался только одиноко болтающийся тест на создание виртуальной машины:
Дункан Эппинг пишет, что это обусловлено двумя факторами:
Тест Multicast performance ушел, так как мультикаст-режим был убран из VMware vSAN (еще в версии vSAN 6.6), соответственно, ушел и тест на его производительность. Теперь когда вы используете vSAN в режиме юникаст, то тест показан не будет, но если будете использовать все же мультикаст - тест появится.
А вот тест Storage Performance ушел вот почему: у VMware есть методика тестирования HCI Bench, которая позволяет провести комплексный тест производительности отказоустойчивых кластеров хранилищ vSAN, а также других конфигураций виртуальной инфраструктуры. Это очень гибкий инструмент, который позволяет проводить наиболее точное тестирование и настраивать различные аспекты методики и среды тестирования. Соответственно, VMware решила поддерживать только один инструмент, а Storage Performance Test убрать из клиента для управления виртуальной инфраструктурой.
Гостевой пост нашего партнера - сервис-провайдера ИТ-ГРАД, предоставляющего услуги аренды виртуальных машин.
Blockchain — это принципиально новая технология, которая в последнее время приковывает к себе все больше внимания. Специалисты из таких отраслей, как финансы, экономика, медицина, логистика, IoT, активно работают над исследовательскими и экспериментальными проектами с использованием блокчейн, поскольку эта технология заточена не только на криптовалюты.
Blockchain на vSphere или BoV — это инструмент для развертывания Hyperledger Fabric v1.0 на платформе vSphere, или, другими словами, проект VMware, который помогает администраторам развернуть блокчейн-платформу для разработчиков на базе гипервизора ESXi. Используя всего несколько команд, можно с легкостью запустить кластер на vSphere, а блокчейн-разработчикам сосредоточиться на реализации бизнес-логики.
Отметим, что Hyperledger Fabric — это не компания, не криптовалюта, а проект с открытым исходным кодом, организованный сообществом Linux Foundation, который был создан для продвижения блокчейн-технологии. Это нечто, похожее на хаб для открытой разработки отраслевых блокчейнов. Hyperledger Fabric дает широкие возможности, позволяя разработчикам сконцентрироваться на запуске блокчейн-проекта с собственной бизнес-логикой.
Взгляд изнутри
Суть утилиты Blockchain on vSphere заключается в возможности развернуть несколько узлов кластера Hyperledger Fabric, так называемых Pods, причем максимально просто. При этом в Blockchain-сервисе используются три учетные записи:
Cloud Admin,
Blockchain Admin,
Blockchain Developer.
Каждая из них имеет соответствующие полномочия на разных уровнях системы: Cloud Admin может мониторить и работать с инфраструктурой на базе vSphere, Blockchain Admin — управлять платформой blockchain (Hyperledger Fabric), а разработчик Blockchain фокусируется на разработке приложений с использованием платформы blockchain.
Градация полномочий на разных уровнях системы
Hyperledger Fabric — это распределенная система, реализованная с использованием контейнеров. Она может быть развернута на платформе, которая поддерживает контейнерный стандарт OCI. При этом для управления контейнерами Fabric используется система Kubernetes. В основе рассматриваемого примера для Fabric v1.0 лежит следующая архитектура:
Используются пространства имен для поддержки различных организаций Fabric.
Используется настраиваемое количество одноранговых узлов в организации.
Организуется изоляция через Persistent Volume.
Архитектура решения
Инструкция по развертыванию
Для реализации блокчейн-проекта с использованием Hyperledger Fabric необходимо выполнить ряд предварительных требований, включающих наличие: Читать статью далее->>
В декабре прошлого года мы писали о том, что компания VMware выпустила обновление ESXi 6.5 Update 1 Patch 2, а также вскользь упомянули апдейт сервера управления - VMware vCenter 6.5 Update 1d. А вчера в нашей заметке про обновленный vSphere Client наш читатель обратил внимание на статью в блоге VMware, где рассказано о некоторых новых фичах vSphere Client, версия 3.21 которого была включена в состав vCenter 6.5 Update 1d.
Давайте посмотрим, что за фичи есть в HTML5-клиенте, который поставляется с vCenter 6.5 Update 1d, по сравнению с его прошлой версией, включенной в vCenter.
1. Улучшенный вид интерфейса Clarity.
Благодаря новому подходу VMware за счет фреймворка Clarity интерфейс клиента стал более эстетичным и удобным в использовании. Давайте взглянем, например, на возможность переключения между Active и Consumed Memory в vSphere Client:
2. Настройка vSphere Proactive HA.
Ранее это можно было делать только через Web Client, теперь это выглядит удобно и красиво:
3. Появилась настройка Content Library.
Важная фича - добавление уже существующей библиотеки с контентом (например, с другого сервера vCenter):
4. Настройка Network IO Control (NIOC) на VDS.
Теперь это возможно через vSphere Client (вместе с настройкой LAGs и LACP) для vSphere Distributed Switch (VDS), включая изменение параметров шлюза на адаптерах VMkernel:
5. Настройка политик хранения (Storage Policies).
Ранее это было доступно только через Web Client (например, нельзя было создать новую политику в HTML5-клиенте), но теперь можно делать все операции в удобном рабочем процессе для vSphere Client, который, кстати, был упрощен.
6. Управление VIB-пакетами.
Очень удобный раздел, чтобы узнать, какие дополнения в виде VIB-пакетов установлены на хосте ESXi. Доступно по адресу Host –> Configure –> System –> Packages:
7. Управление настройками ВМ и шаблонами.
Теперь в VM Settings можно настраивать все параметры виртуальных машин, включая добавление новых виртуальных устройств, таких как NVMe, SCSI, USB Controller и Host-based USB Adapter. Кроме того, появилась возможность работы с шаблонами (VM Templates).
8. Настройка VM Guest Customization Specifications.
При развертывании ВМ из шаблонов с помощью HTML5-клиента теперь можно использовать спецификацию созданную с помощью встроенного мастера, либо указать уже существующий файл спецификации.
Скачать текущую версию VMware vSphere Client можно по этой ссылке. VMware vCenter 6.5 Update 1d доступен тут.
Компания VMware в первые дни нового года выпустила очередное обновление своего HTML5-клиента для управления виртуальной инфраструктурой - VMware vSphere Client 3.32.
Напомним, что ранее мы писали о возможностях клиента 3.30 и ниже, поэтому приведем новые возможности версий vSphere Client 3.31 и 3.32, где, в основном, из нового - это управление объектами vApp:
Операции включить/выключить/перезагрузить/приостановить для виртуальных сервисов (vApp) - это показано на рисунке выше.
Переименование/удаление сервиса vApp.
Экспорт объекта vApp в шаблон виртуального модуля OVF.
Отоносящиеся к объектам vApp вкладки VM, datatastore и networking.
Действие Add Permission для шаблонов ВМ (templates).
Выбранные счетчики производительности в разделе Performance Charts сохраняются для данного пользователя в локальном хранилище его браузера. Это позволяет не настраивать их заново при открытии новой сессии клиента.
Исправлены некоторые ошибки.
Скачать VMware vSphere Client можно по этой ссылке.
На сайте проекта VMware Labs появилась новая утилита Cross vCenter Workload Migration Utility, предназначенная для переноса виртуальных машин между виртуальными датацентрами под управлением разных серверов VMware vCenter (поддерживаются как единый SSO-домен, так и разные). Миграция машин происходит за счет возможности Cross-vCenter vMotion.
Основные возможности утилиты:
Весь рабочий процесс миграции ВМ проводится в графическом интерфейсе.
Предоставляется REST API для управления процессом миграции.
Работает для перенесения машин на vCenter, находящийся в другом SSO-домене.
Поддержка пакетного режима - миграция нескольких ВМ одновременно. Обратите внимание, что контрол называется Virtual Machine(s).
Поддержка как горячей (vMotion), так и холодной миграции машин.
Возможно выполнить операцию Storage vMotion, при этом общего хранилища между серверами vCenter не требуется.
Гибкий маппинг сетей между исходной площадкой и целевой.
Также есть возможность реализации миграции с помощью сценариев PowerCLI (подробнее об этом тут):
Загрузить Cross vCenter vMotion Utility Fling можно по этой ссылке.